创建一个Pipeline项目
在这里,您可以通过拖拉拽的方式将多种AI模块连接成一个完整的模型。目前Limit Studio支持的模块包括:大语言模型,生图和Code。每个模块除了固定的输入输出参数外,您还可以自定义添加输入和输出参数,实现模块间的自由连接。接下来,我们将以一个简单的文生图Pipeline为例子,带您创建一个Pipeline项目。
文生图Pipeline项目
我们将带您创建一个具有文生图功能的Pipeline项目。该项目的特点是:您可以直接告诉模型想要生成的对象,模型会自动生成提示词,并将对象绘制出来。
步骤一:进入项目创建界面
首先,在页面的侧边栏中找到并点击Pipeline,进入Pipeline项目的管理界面,然后点击侧边栏创建项目按钮。
在输入项目名称和项目描述之后,点击创建按钮,正式进入Pipeline项目的创建界面。 
步骤二:确定工作流程并选择模块
进入创建界面后,您会看到左侧的模块库中有各种AI模块。您可以根据需求,选择相应的模块,并将其拖动到工作区。工作区初始化时会提供两个必要模块:inputs和outpus,用于控制整个项目的输入和输出。 
接下来,我们需要根据需求确定文生图Pipeline项目的工作流程:
如图所示,由于我们的输入是一句简单的描述,因此我们需要先构造提示词,让大语言模型生成文生图模型可以使用的Prompt,再让文生图模型为我们生成最终的图像。因此,我们需要使用的模块有三个:
- 一个
Text Template模块:用于构造提示词模板,通过占位符的方式将输入转换成完整的提示词。 - 一个
InvokeLLM V2模块:支持接入多种大模型,在这里用它将文本转换成文生图模型使用的Prompt。 - 一个
Text to Image模块:将文本转换成图像,Limit Studio使用的是效果最好的Stable Diffusion模型。
步骤三:设置各模块输入输出
1. 设置Inputs模块
该模块接收用户的输入,输入为文本形式,可以直接使用默认提供的Text输入(注释部分可以随意填写)。 
调试
为了确定Pipeline的输出是否符合预期,您可以利用Limit Studio提供的调试功能对输出进行验证,将Inputs的Text输入连接到Outputs的Text输出上,并点击调试按钮,查看输出是否符合预期: 
2. 设置Text Template模块
该模块用于构造提示词模板,通过占位符将用户输入转换成完整的提示词,提供给大语言模型。
首先,需要在页面左侧找到Text Template模块,并将其拖动到工作区中。
随后,点击编辑Prompt按钮,设置提示词模板,并在需要插入输入的地方用{name}的方式插入占位符,这里我们使用few shot的方法为大模型构造提示词:
Now you need to generate prompt words for the stable diffusion model based on the "Object" I provide. These prompts should enable the model to draw the "Object" according to the prompt words. Note that the prompts need to comprehensively describe the "Object" from multiple aspects and consist of multiple words or phrases. Here are some examples:
Example 1:
"Object": 高科技未来城市
"Prompt": city future, 8k, exploration, cinematic, realistic, unreal engine, hyper detailed, volumetric light, moody cinematic epic concept art, realistic matte painting, hyper photorealistic
Example 2:
"Object": 一台特斯拉车子
"Prompt": concept art, tesla car, aerodynamic, future
Example 3:
"Object": 动漫美少女
"Prompt": jeanne d'arc from fate grand order, 1girl, (best quality), (masterpiece), (high detail), ((full face)), sharp, ((looking at viewer)), ((detailed pupils)), (thick thighs), (((full body))), (large breasts)
Now, please refer to the 3 examples above, generate a "Prompt" for the "Object" I provide next, just append the prompt words next to the "Prompt" without any other voiceover:
"Object": {user_input}
"Prompt":
将提示词模板输入prompt框内后,点击确定按钮,即可完成Text Template模块的设置,在使用时将所需要传入的参数连接到对应参数名即可(示例中为user_input)
3. 设置InvokeLLM V2模块
完成提示词构建后,我们可以接入大语言模型了!将左侧的InvokeLLM V2拖入工作区中,并配置好API Key和Model(这里选择GPT-4),进一步地,我们还可以设置模型的Temperate(这里设置为0.1) 
调试
此时,您仍然可以对InvokeLLM V2模块进行调试,以验证LLM的输出符合预期。将Inputs的Text输入连接到Text Template的user_input参数上,并将Text Template下方的History连接到InvokeLLM V2的History In上,最后将下方的Completion连接到Outputs的Text输出上,点击调试按钮,查看输出是否符合预期: 
WARNING
注意:如果在调试过程中使用需要付费的大模型,仍会对您进行扣费。
4. 设置Text to Imgae模块
现在,我们开始接入文生图模块,将左侧的Text to Imgae拖入工作区中,在本示例中,我们仅使用大模型生成prompt,Negative Prompt和Steps参数由我们手动填写为固定值,本示例所使用的Negative Prompt如下:
lowers, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist nameStpes设置为128。

5. 设置Outputs模块
由于我们需要得到的最终输出为图片形式,因此,需要将初始化时默认的Outputs中的Text输出删除,并点击Add Output按钮,选择Image添加图像输出,最终结果如图下所示:

恭喜您!已完成文生图Pipeline项目所有模块的设置!接下来可以放轻松了!
步骤四:连接AI模块
当所有模块都设置好后,我们需要将各个模块按照它们应有的顺序连接起来。
TIP
模块间的连接可以通过鼠标拖拽或点击的形式进行。
将各模块按如图所示进行连接:
- 将
Inputs的Text输入连接到Text Template的user_input参数上; - 将
Text Template下方的History连接到InvokeLLM V2的History In上; - 将
InvokeLLM V2下方的Completion连接到Text to Image的Prompt上; - 将
Text to Image下方的的Image连接到Outputs的Image输出上。
此刻,我们的文生图Pipeline项目就已经构建好了!
步骤五:调试Pipeline项目
为了测试我们的文生图Pipeline项目是否能够符合我们的预期,通过直接输入想要绘制的图像即可获得结果,我们可以通过两种方法进行调试。
直接调试
我们可以直接在Inputs的输入框输入我们的测试数据,并通过点击调试按钮,即可在当前该界面进行直接调试,具体如下图所示: 
预览调试
此外,我们还可以通过点击预览按钮,在预览界面输入测试数据,同样可以获得该项目的输出: 
WARNING
注意:如果在调试过程中使用需要付费的大模型,仍会对您进行扣费。
通过以上步骤,您已经成功创建了一个从文本生成图片的Pipeline项目。现在,您可以输入一段文本,生成对应的图片。尽情发挥创意,创建更多有趣的Pipeline项目吧!
更多模块介绍
希望这个指南能帮助您快速上手创建Pipeline项目。如果您在创建Pipeline项目中对AI模块有任何问题,可以随时查看我们的Pipeline模块使用方法或联系我们的支持团队。